Khi Việt Minh giành chính quyền, ông được giao nhiệm vụ tiếp quản, phụ trách tổ chức và chỉ huy lực lượng Bảo an binh Hà Nội. Khi quân Pháp gây hấn tại Hà Nội, ông được cử giữ chức Khu trưởng Khu XI Hà Nội, sau đó đổi thành chỉ huy quân sự Khu II bảo vệ Hà Nội, Liên khu phó Liên Khu 1. Dự kiến quân Pháp sẽ nổ súng, Bộ Tư lệnh Quân đội Quốc gia Việt Nam đã chỉ định ông làm Tư lệnh Mặt trận Hà Nội, chỉ huy việc phòng thủ và tấn công quân Pháp tại Hà Nội, nhằm mục đích kéo dài có lợi, sau đó rút lui bảo toàn lực lượng. Ông đã hoàn thành xuất sắc nhiệm vụ, khi đã cầm chân được quân Pháp tại nội đô Hà Nội trong 2 tháng.

Sau khi rút khỏi Hà Nội, ông được điều động về làm Khu bộ phó Khu IV, dưới quyền Thiếu tướng Lê Thiết Hùng, sau đó là Nguyễn Sơn. Cuối năm 1947, ông được giao nhiệm vụ làm Phân khu trưởng Phân khu Bình Trị Thiên. Năm 1948, ông được phong quân hàm Đại tá trong đợt phong hàm chính thức đầu tiên của Việt Nam.

Ngày 28 tháng 8 năm 1949, Bộ Tổng tư lệnh Quân đội Quốc gia Việt Nam thành lập Đại đoàn chủ lực đầu tiên mang phiên hiệu Đại đoàn 308. Ông được cử làm Đại đoàn trưởng kiêm Chính uỷ Đại đoàn (đến năm 1951, Song Hào thay ông làm Chính ủy). Từ đó, ông cùng Đại đoàn tham gia nhiều chiến dịch lớn như:

1. Sông Lô (tháng 5 năm 1949)
2. Đường số 4 (tháng 10 năm 1949)
3. Biên giới (tháng 10 năm 1950)
4. Trung du (tháng 12 năm 1950)
5. Đông Bắc (tháng 2 năm 1951)
6. Hà Nam Ninh (tháng 5 năm 1951)
7. Hòa Bình (tháng 10 năm 1951)
8. Tây Bắc (tháng 10 năm 1952)
9. Thượng Lào (tháng 1 năm 1953),
10. Điện Biên Phủ (tháng 3 năm 1954)

Sau chiến dịch Điện Biên Phủ, ông tiếp tục chỉ huy Đại đoàn 308 tấn công tiêu diệt các đơn vị Pháp tại Bắc Giang, Phả Lại (tháng 7 năm 1954).

Ngày 28 tháng 9 năm 1954, ông được thăng hàm thiếu tướng và được cử làm Chủ tịch Uỷ ban Quân chính Hà Nội (tháng 10 năm 1954), cùng Đại đoàn 308 về tiếp quản Hà Nội.